Cha Doãn Văn là Ngu Kỳ, đỗ tiến sĩ vào niên hiệu Chính Hòa (1111 – 1118), làm quan đến Thái Thường bác sĩ, Đồng Xuyên lộ Chuyển vận phán quan. Doãn Văn lên 6 tuổi đã đọc Cửu kinh, lên 7 có thể làm văn thành thục. Trong lúc cha đang ở chức thì mẹ mất, ông đau xót mà vẫn cứng cỏi. Chốn cất xong, sớm tối khóc bên mộ, cho đến khi mộ mọc lên cây dâu cao, có đôi quạ đến làm tổ. Doãn Văn nghĩ cha đang làm việc quan lại còn có bệnh, suốt 7 năm không cười đùa, luôn ở bên cạnh cha. Cha mất, năm Thiệu Hưng thứ 23 (1153) ông mới đỗ tiến sĩ, trải qua các chức vụ Thông phán Bành Châu, quyền Tri Lê Châu, Cừ Châu.